Tháng 11 năm 1945, ông trở về nước hoạt động theo đề nghị của Trung ương Đảng Cộng sản Việt Nam, lấy tên mới là Nguyễn Sơn và giữ nhiều chức vụ quan trọng trong quân đội và chính quyền Việt Nam Dân chủ Cộng hòa. Ông từng làm Chủ tịch Ủy ban Kháng chiến miền Nam Việt Nam (đến 20 tháng 11 năm 1946, được thay bởi Lê Thiết Hùng)[2], Chủ tịch Ủy ban Kháng chiến miền Nam Trung bộ (16/7/1946- ),[3] Tham mưu trưởng Bộ Quốc phòng (20/11/1946- )[2], Tư lệnh kiêm Chính ủy hai Liên khu 4 và 5, Hiệu trưởng Trường Lục quân Trung học Quảng Ngãi (1946), Cục trưởng Cục Quân huấn Bộ Quốc phòng (30/1/1947- )[4], Tư lệnh kiêm Chính ủy Liên khu 4 (1948-1949). Ngày 10 tháng 7 năm 1947 Nguyễn Sơn làm Khu trưởng Chiến khu IV thay thiếu tướng Lê Thiết Hùng.[5]

Năm 1947, ông được tin bà Trần Kiếm Qua và hai con trai của ông chết do bị máy bay Quốc Dân Đảng oanh tạc khi sơ tán khỏi Diên An. Ông cưới bà Huỳnh Thị Đổi. Hai người sinh được cô con gái Nguyễn Mai Lâm, do nhiều nguyên nhân hai người đã chia tay. Cũng trong năm này, ông kết hôn với bà Lê Hằng Huân.[lower-alpha 1] Ông có bốn người con với bà: Nguyễn Thanh Hà, Nguyễn Cương, Nguyễn Việt Hồng và Nguyễn Việt Hằng. Trong đó bà Nguyễn Thanh Hà học tại Học viện Kỹ thuật Quân sự ra trường công tác tại Bộ Tư lệnh Thông tin và về hưu với quân hàm trung tá. Bà Nguyễn Việt Hồng thì mắc bệnh tâm thần được điều trị dài hạn tại bệnh viện.

Năm 1948, ông được Nhà nước Việt Nam phong quân hàm thiếu tướng trong đợt phong quân hàm đầu tiên. Cùng được phong thiếu tướng trong đợt này có 8 quân nhân khác. Theo giai thoại lưu truyền, khi biết mình chỉ được phong thiếu tướng, ông tỏ vẻ không hài lòng và không muốn nhận. Ông gửi công văn hỏa tốc cho Hồ Chí Minh để từ chối nhận quân hàm. Nhận được công văn, Chủ tịch Hồ Chí Minh viết lên tấm các của mình: "Gửi Sơn đệ" với 12 chữ Hán: "Tâm dục tế, Đảm dục đại, Trí dục viên, Hành dục phương (心欲细, 胆欲大, 智欲圆, 行欲方)"[6](đại ý: Người làm tướng phải có cái tâm nên tế nhị, chính chắn; cái gan cần phải lớn; cái trí phải suy nghĩ trước sau, toàn diện; cái đức hạnh, hành động phải đầy đủ, ngay thẳng, cương trực) khiến ông chấp nhận. Thứ trưởng Phạm Ngọc Thạch thay mặt Chính phủ vào Thanh Hóa làm lễ tấn phong ông.